Sau khi bị đuổi học ông bèn đi lậu vé tàu thủy qua Pháp, vừa học Đại học Văn khoa, vừa đi làm, lại tham gia Đảng Việt Nam Độc lập, rồi gia nhập Đảng Cộng sản Pháp. Sau khi đỗ tú tài, ông lên Paris đầu năm 1927, làm việc trong một xí nghiệp sơn mài để kiếm sống. Có người giới thiệu, ông được làm việc ở Văn phòng Trung ương Đảng Cộng sản Pháp, được phân công theo dõi tình hình các thuộc địa. Thời gian này ông còn làm chủ bút báo Lao Nông, sau đổi là Vô sản, tham gia viết bài cho báo L'Humanité của Đảng Cộng sản Pháp dưới bút danh "Chợ Mới" và "An".

Năm 1928, ông được cử tham gia Đoàn đại biểu Đảng Cộng sản Pháp đi dự Đại hội lần thứ VI Quốc tế Cộng sản tại Liên Xô (từ 17 tháng 7 đến 1 tháng 9). Ông lấy tên là An và đọc tham luận về tình hình Đông Dương và đề nghị Quốc tế Cộng sản nghiên cứu việc thành lập một Đảng Cộng sản ở Đông Dương. Năm 1929 ông trở thành người Việt Nam duy nhất là Ủy viên Trung ương Đảng Cộng sản Pháp, phụ trách vấn đề thuộc địa[1].

Năm 1930, ở Việt Nam nổ ra cuộc khởi nghĩa Yên Bái của Việt Nam Quốc dân đảng, Nguyễn Thái Học và 12 đồng chí bị đưa lên đoạn đầu đài, ông và các đồng chí tổ chức một cuộc biểu tình trước điện Élysée (phủ Tổng thống Pháp). Do đó, ông và nhiều người biểu tình bị bắt và đưa ra tòa. Ông bị giam 8 tháng và đến tháng 10 năm 1930, bị trục xuất về nước (tổng số 19 người bị trục xuất, trong đó có Trần Văn Giàu, Tạ Thu Thâu).